分類 自然言語処理のための機械学習
分類
準備
ナイーブベイズ分類器
分けたいクラスと特徴の同時確率が最大となるモデルを探す。ベイズの定理から、尤度と事前分布の積が同時確率。
$ P(d|c)P(c)
ただ、P(d|c) の計算が難しいので、ナイーブな仮定をおいてやる。 #someday どう難しいか理解できてない。 サポートベクトルマシン
カーネル法
"内積だけを用いて分類や学習を行うことをカーネル法という。"
対数線形モデル
素性表現の拡張。事例dとラベルyを引数に取る素性関数(feature functon)を作る。
ナイーブベイズでは同時確率をモデル化していた。
$ P(c,d) P(d|c)P(c) とベイズの定理からくる尤度と事前確率の積。
対数線形モデルは識別モデル
$ P(y|d)をモデル化する。
$ L(w) = \sum_{(d^(i),y^(i))\in{D}}{logP(y^i|d^i) - \frac{C}{2}|w|^2} この L(w)の最大化。正則化含む。数値的に解く。
モデル化とは？
素性選択
この章のまとめ
章末問題
系列ラベリング
- 準備
- 隠れマルコフモデル
- 通常の分類器の逐次適用
- 条件付確率場
- チャンキングへの適用の仕方
- この章のまとめ
- 章末問題